Năm 1900, sau khi về trí sĩ, Đào Trọng Kỳ tự mình bỏ công tự khảo cứu địa hình, thiết kế công trình dẫn thủy nhập điền mang tên sông Chanh Dương dài hơn 23 km, rộng ngang tới 40 m, sâu 4 m, chạy từ đầu về cuối huyện Vĩnh Bảo. Sở dĩ sông đào được đặt tên Chanh Dương vì được đào thẳng từ làng Chanh Chử (xã Thắng Thủy) chạy dọc qua các xã và thị trấn: Thắng Thủy, Vĩnh Long, Liên Am, Tam Cường, Hòa Bình, Trấn Dương, sau đó thông ra biển qua hệ thống cống. Theo thiết kế, nước sông Hồng đổ về sông Luộc, sau đó được dẫn vào sông Chanh Dương qua hệ thống cống dưới đê, rồi theo hệ thống mương, máng được thiết kế theo kiểu xương cá 2 bên sông, chảy vào các cánh đồng.

Đào Trọng Kỳ vận động người dân góp công, góp sức, thậm chí hiến ruộng. Riêng ông cũng đóng góp tiền bạc tiết kiệm được trong mấy chục năm làm quan cũng như ruộng vườn là bổng lộc của nhà vua ban tặng đều dồn hết vào việc kiến tạo con sông. Sau 4 năm đào đắp, công trình sông Chanh Dương dẫn thủy nhập điền quan trọng bậc nhất huyện Vĩnh Bảo đã hoàn thành.

Năm 1938, Tri phủ Vĩnh Bảo Vũ Văn Nhạc đã cho xây dựng bia tưởng niệm công đức. Sau 2 năm, nhà bia được xây dựng trang trọng, có mái che trên một nền tam cấp, dựng ngay ở trung tâm phố huyện, điểm giao của đường 17 và đường 10 bây giờ. Một mặt bia khắc 4 chữ “Ẩm thủy tư nguyên” (Uống nước nhớ nguồn) và ghi niên hiệu Bảo Đại.